Surface Flow from Visual Cues

In this paper we study the estimation of dense, instantaneous 3D motion fields over non-rigidly moving surface observed by multi-camera systems. The motivation arises from multi-camera applications that require motion information for arbitrary subjects, in order to perform tasks such as surface tracking or segmentation. To this aim, we present a novel framework that allows to efficiently compute dense 3D displacement fields using low level visual cues and geometric constraints. The main contribution is a unified framework that combines flow constraints for small displacements with temporal feature constraints for large displacements and fuses them over the surface using local rigidity constraints. The resulting linear optimization problem allows for variational solutions and fast implementations. Experiments conducted on synthetic and real data demonstrate the respective interests of flow and feature constraints as well as their efficiency to provide robust surface motion cues when combined. Key-words: Surface, flow, 3D motion in ria -0 05 93 20 6, v er si on 2 17 M ay 2 01 1 Flot de surface à partir d’indices visuels Résumé : Dans ce papier nous nous intéressons à l’estimation des champs de déplacement denses d’une surface non rigide, en mouvement, capturée par un système multi-caméra. La motivation vient des applications multi-caméra qui nécessitent une information de mouvement pour accomplir des tâches telles que le suivi de surface ou la segmentation. Dans cette optique, nous présentons une approche nouvelle, qui permet de calculer efficacement un champ de déplacement 3D, en utilisant des informations visuelles de bas niveau et des contraintes géométriques. La contribution principale est la proposition d’un cadre unifié qui combine des contraintes de flot pour de petits déplacements et des correspondances temporelles éparses pour les déplacements importants. Ces deux types d’informations sont fusionnés sur la surface en utilisant une contrainte de rigidité locale. Le problème se formule comme une optimisation linéaire permettant une implémentation rapide grâce à une approche variationelle. Les expérimentations menées sur des données synthétiques et réelles démontrent les intérêts respectifs du flot et des informations éparses, ainsi que leur efficacité conjointe pour calculer les déplacements d’une surface de manière robuste. Mots-clés : Surface, flot, déplacements 3D in ria -0 05 93 20 6, v er si on 2 17 M ay 2 01 1 Surface Flow from Visual Cues 3